Trước năm 1886, ở Long Xuyên chỉ có những trường làng dạy chữ Nho và trường tổng dạy chữ quốc ngữ. Năm 1886, mới có Trường tiểu học Pháp Việt (là trường xưa nhất của tỉnh, nay là Trường Tiểu học Nguyễn Du)[13]. Năm 1917, hình thành "Long Xuyên khuyến học hội" với vai trò tích cực của Hồ Biểu Chánh. Năm 1929, Ở Long Xuyên có 1 trường nam, 1 trường nữ với 1.144 học sinh. Ngoài ra, còn có trường nội trú Trần Minh (vị trí ở Trường THCS Nguyễn Trãi và Trường Tiểu học Châu Văn Liêm hiện nay) với 105 học sinh và một trường người Hoa (bang Quảng Đông) với 30 học sinh. Sau 1930, trường nội trú Trần Minh có mở các lớp nội trú đầu lớp Cao đẳng Tiểu học.

Ngày 12 tháng 11 năm 1948, với sự cho phép của tỉnh trưởng Nguyễn Ngọc Thơ, trường Trung học mang tên Collège de Long Xuyên khai giảng khóa đầu tiên, gồm 76 học sinh. Tháng 2 năm 1952, trường được đổi tên thành Trường Trung học Thoại Ngọc Hầu. Khoảng cuối thập niên 50, đầu thập niên 60 Long Xuyên có Trường Trung học Tư thục Khuyến Học

Từ năm 1962 cho đến 1975, ngoài hai trường công lập là Trường Trung học Tổng hợp Thoại Ngọc Hầu (nay là Trường PTTH chuyên Thoại Ngọc Hầu), Trường Trung học Tổng hợp Chưởng Binh Lễ (nay là một phần của Trường Đại học An Giang), các trường trung học tư dạy đến các lớp đệ nhị cấp (nay được gọi là cấp trung học phổ thông) cũng lần lượt ra đời, như: Trường Hoa Liên, Trường Bồ Đề, Trường Phụng Sự (nay là Trường PTTH Long Xuyên)...

Về trung học chuyên nghiệp, có Trường Trung học Kỹ thuật An Giang (thành lập năm 1962), Trường Trung học Nông Lâm Súc (thành lập năm 1963), Trường Sư phạm Long Xuyên (thành lập năm 1969), Trường nữ hộ sinh quốc gia (thành lập năm 1970)...

Năm 1972, Giáo hội Phật giáo Hòa Hảo mở Viện Đại học Hòa Hảo tại Long Xuyên, có khoảng 2.000 sinh viên theo học 5 phân khoa: Văn chương, Thương mại-Ngân hàng, Bang giao quốc tế, Khoa học quản trị và Sư phạm. Năm 1974, Giáo hội Thiên Chúa giáo nâng cấp Chủng viện Tê rê xa thành Đại chủng viện thánh Thomas để đào tạo cấp linh mục.

Sau 30 tháng 4 năm 1975, chính quyền mới đã nhanh chóng tiếp quản, cho sửa chữa và thành lập thêm nhiều trường lớp ở khắp các phường xã trong thành phố.

Tháng 12 năm 1999, Trường Đại học An Giang được thành lập tại địa chỉ 25 Võ Thị Sáu, Long Xuyên, An Giang. Đây là trường đại học công lập thứ hai ở vùng Đồng bằng sông Cửu Long.